今天帮同学解决scrapy的时候发现的，就是在我这里能运行，在他那里不能运行。对比scrapy的版本发现，他的是最新的(2.6.3)，然后我的是2.5.0的。随后我将他的版本也换成跟我同样的，他的也能运行了。之后我去看了官方更新文档，发现在2.5.1的更新上说明了，http的验证需要在settings加上这个http_auth_domain=None之后我把我同学的版本换到最新的，设置这个，成功了。之前就是老是提示WhiteIPFailed.但白名单里面又有，所以只能是scrapy的问题了。OK,就是这样。感谢您的阅读！感恩！Emmm,如果有什么问题的话，欢迎评论区告知或者私信告诉我啦~

目录一、安装Scrapy二、Scrapy项目生成三、爬取某个网站（以下我用之前的创建的项目，不是刚刚新创的）一、安装Scrapy1，window安装pipinstallScrapy2，安装seleniumpipinstallselenium3，下载Chrome驱动     a，查看GoogleChrome浏览器版本                   Chrome驱动下载地址http://chromedriver.storage.googleapis.com/index.html     b，找到和你版本最接近的哪个安装包      c，下载好之后将我们的chromedriver放到和我们py

目录一、安装Scrapy二、Scrapy项目生成三、爬取某个网站（以下我用之前的创建的项目，不是刚刚新创的）一、安装Scrapy1，window安装pipinstallScrapy2，安装seleniumpipinstallselenium3，下载Chrome驱动     a，查看GoogleChrome浏览器版本                   Chrome驱动下载地址http://chromedriver.storage.googleapis.com/index.html     b，找到和你版本最接近的哪个安装包      c，下载好之后将我们的chromedriver放到和我们py

1、在命令提示符环境使用pipinstallscrapy命令安装Python扩展库scrapy，详见Python使用Scrapy爬虫框架爬取天涯社区小说“大宗师”全文2、使用下图中的命令创建爬虫项目3、进入爬虫项目文件夹，执行下面的命令创建爬虫现在，爬虫项目的文件夹结构如下图所示4、使用浏览器打开网址http://www.weather.com.cn/shandong/index.shtml，然后下拉，找到“城市预报列表”5、在页面上单击鼠标右键，选择“查看网页源代码”，然后找到与“城市预报列表”对应的位置6、选择并打开山东省内任意城市的天气预报页面，此处以烟台为例7、在页面上单击鼠标右键，选

1、在命令提示符环境使用pipinstallscrapy命令安装Python扩展库scrapy，详见Python使用Scrapy爬虫框架爬取天涯社区小说“大宗师”全文2、使用下图中的命令创建爬虫项目3、进入爬虫项目文件夹，执行下面的命令创建爬虫现在，爬虫项目的文件夹结构如下图所示4、使用浏览器打开网址http://www.weather.com.cn/shandong/index.shtml，然后下拉，找到“城市预报列表”5、在页面上单击鼠标右键，选择“查看网页源代码”，然后找到与“城市预报列表”对应的位置6、选择并打开山东省内任意城市的天气预报页面，此处以烟台为例7、在页面上单击鼠标右键，选

文章参考千锋教育大佬的课程：https://www.bilibili.com/video/BV1QY411F7Vt?p=1&vd_source=5f425e0074a7f92921f53ab87712357b，多谢大佬的课程一、用Selenium操作谷歌浏览器，登录TB账号获取Cookie  因为TB网的搜索功能需要登录之后才能使用，所以我们要通过程序去控制浏览器实现登录功能，然后再获取登录之后的Cookie.  首先创建一个Chrome浏览器对象，用这个对象去操控谷歌浏览器：importjsonfromseleniumimportwebdriverdefcreate_chrome_drive

文章参考千锋教育大佬的课程：https://www.bilibili.com/video/BV1QY411F7Vt?p=1&vd_source=5f425e0074a7f92921f53ab87712357b，多谢大佬的课程一、用Selenium操作谷歌浏览器，登录TB账号获取Cookie  因为TB网的搜索功能需要登录之后才能使用，所以我们要通过程序去控制浏览器实现登录功能，然后再获取登录之后的Cookie.  首先创建一个Chrome浏览器对象，用这个对象去操控谷歌浏览器：importjsonfromseleniumimportwebdriverdefcreate_chrome_drive

CrawlSpider类是什么？是Spider的一个子类区别：Spider是获取到URL进行手动发送请求：yieldscrapy.Request(url=new_url,callback=self.parse)是通过提取器类：LinkExtractor，提前到页面所有符合条件的URL，然后用Rule类对符合条件的URL自动发送请求创建CrawlSpider爬虫的命令：scrapygenspider-tcrawlxxx（爬虫名称）www.xxxx.com（爬取的URL）基于CrawlSpider创建的爬虫类，代码示例：importscrapyfromscrapy.linkextractorsim

CrawlSpider类是什么？是Spider的一个子类区别：Spider是获取到URL进行手动发送请求：yieldscrapy.Request(url=new_url,callback=self.parse)是通过提取器类：LinkExtractor，提前到页面所有符合条件的URL，然后用Rule类对符合条件的URL自动发送请求创建CrawlSpider爬虫的命令：scrapygenspider-tcrawlxxx（爬虫名称）www.xxxx.com（爬取的URL）基于CrawlSpider创建的爬虫类，代码示例：importscrapyfromscrapy.linkextractorsim

 一、什么是scrapy？　　Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试. 　　其最初是为了页面抓取(更确切来说,网络抓取)所设计的，后台也应用在获取API所返回的数据(例如AmazonAssociatesWebServices)或者通用的网络爬虫. Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持. 二、Scrapy五大